Soy PhD en Estadística, más de 15 años de experiencia en el sector académico, actual director de analítica en CNC, miembro del comité de expertos en pobreza en el DANE y consultor experto de la División de Estadística de la CEPAL. Ex-decano de la Facultad de Estadística USTA, ex-director de operaciones en el ICFES, más de 40 evaluaciones de impacto o de resultados…
Primero explore los datos para identificar el tipo de relación: lineal o no lineal.
Correlación de Pearson, gráficos de dispersión simples o matricial.
Correlación lineal
Otros tipos de asociación
Una Correlación de CERO no debe interpretarse como “No existe asociación”, solo permite concluir que no hay asociación lineal pero puede existir una relación de otro tipo. Por ejemplo, Salario Vs. Experiencia. Otro aspecto a considerar es la presencia de datos atípicos (“raros”) que puedan ser influyentes.
Especificación del modelo
¿Es un buen modelo?
Análisis de los residuales
Pronósticos
Algoritmos
Algunos modelos son:
Lineales: lm().
Generalizados: glm().
Bayesianos: stan_glm()
Penalizados: glmnet()
ML: tidymodels
Modelo Lineal
Sea \(\mathcal{D}=\{(y_i, \mathbf{x}_i): i=1,\ldots,n\}\), con \(y_i\) la \(i\)-ésima respuesta medida en una escala continua; \(\mathbf{x}_i=(x_{i1},\ldots,x_{ip})^t \in \mathbb{R}^p\) es el vector de variables predictoras; y \(n\)\((\gg p)\) es el tamaño de la muestra. El modelo lineal se especifica así:
El instrumento del DASS 21 permite construir una escala de Depresión, Ansiedad y Estrés (DASS-21). Investigue más sobre su construcción y propiedades psicométricas. Una versión del instrumento puede ser consultada aquí
Explore el conjunto del datos DASS21.sav el cual contiene los resultados para una muestra de 800 personas de Colombia realizada en el año 2022.
Puede usar lapply(dass, function(x) attributes(x)$label) para ver las etiquetas de las preguntas.
Ejercicio
Realice un diagrama de dispersión y calcule la correlación entre las variables cuantitativas de nivel de depresión, estrés y ansiedad.
¿Considera que el grado de asociación se diferencia entre hombres y mujeres?, haga los gráficos de dispersión segmentados por sexo
Realice los análisis que le permitan concluir sobre la asociación entre la depresión y la satisfacción con la vivienda, trabajo, amigos, vecinos y el barrio.
Ajuste el modelo de regresión usando las variables del numeral anterior y agregue la variable del sexo.
La gramática de las gráficas
Requiere de al menos 3 elementos: datos, variables (aes), geometría.
ggplot(data = datos, aes(x = ___, y = ___)) +geom_point()
vars <- dass |>select(DEPRESION, ANSIEDAD, ESTRES)r <-cor(vars, use ="complete")corrplot(r)
#vignette("corrplot-intro")
Matriz de correlación
Puede ver la correlación en forma de matriz usando pairs.panels() del paquete psych
pairs.panels(vars, main="Matriz de correlaciones")
Punto 3 - Taller: DASS21
Realice los análisis que le permitan concluir sobre la asociación entre la depresión y la satisfacción con la vivienda, trabajo, amigos, vecinos y el barrio.
vars <- dass |>select(DEPRESION, P1_1, P1_2, P1_3, P1_4, P1_5)round(cor(vars, use ="complete"), 3)
Que no se cumplan los supuestos puede afectar varios aspectos: sesgos, problemas de pronóstico, error de contraste.
Análisis de los supuestos
par(mfrow =c(2, 2))plot(modelo)
Análisis de los supuestos
check_model(modelo)
REGRESIÓN NO LINEAL
Modelos de analítica
MODELOS SUPERVISADOS DE CLASIFICACIÓN
Modelos de respuesta discreta
Se usan cuando la variable dependiente es de tipo discreto, nominal o multinomial.
Variable dependiente binaria
Aprobar/no aprobar el examen / gestión del pte.
Ser o no víctima de violencia doméstica.
Tener o no tener una enfermedad.
Estar o no en estado de pobreza.
En este caso:
\(y_i \in \{0, 1\}\), en donde 1 representa aprobar y 0 no aprobar.
Modelos de respuesta discreta
Se usan cuando la variable dependiente es de tipo discreto, nominal o multinomial.
Variable dependiente nominal
Estado de ocupación: empleo formal, empleo informal, desempleo, inactivo, etc.
Clasificación étnica: Sin étnia, Afrocolombiano, Indígena, Raizal, Palenquero.
Tipo de cliente: Élite, Plata, Bronce, Masivo.
En este caso:
\(y_i \in \{A, B, C, D, ...\}\), en donde cada letra representa una categoría nominal que es excluyente de las demás.
Modelos de respuesta discreta
Se usan cuando la variable dependiente es de tipo discreto, nominal o multinomial.
Variable dependiente ordinal
La clasificación del nivel de estrés en la escala: Sin estrés, con estrés leve, estrés moderado, estrés severo y estrés extremadamente severo.
Clasifiación de pobreza: Con pobreza extrema, en estado de pobreza, no pobre.
En este caso:
\(y_i \in \{1, 2, 3, ...\}\), en cada valor está en una escala ordinal.
Regla de decisión
Imagen de “Elements of Statistical Learning” de Hastie and Tibshirani
Necesitamos una regla para clasificar a cada observación.
La imagen presenta una regla dadas dos variables independientes.
La función de clasificación puede ser lineal o no lineal.
Regla de decisión
Imagen de “Elements of Statistical Learning” de Hastie and Tibshirani
MODELO DE REGRESIÓN LOGÍSTICA
Introducción
Suponga que puede clasificar a todas las observaciones en 2 grupos/clases (1: Éxito, 0: Fracaso). La función logística, permite calcular la probabilidad de cada suceso.
¿Por qué no se debería aplicar regresión lineal en este caso?
Riesgo (Odds)
\[Odds = \frac{\pi(x)}{1-\pi(x)}\]
Suponga que en el evento de desertar del colegio, se encontró que la probabilidad de deserción cuando el niño tiene una madre sin estudios es \(\pi(x)=0.71\). Así que
\[Odds_{A} = \frac{0.71}{1-0.71} = 2.45\]
Por cada niño que no deserta, hay casi 3 que si lo hacen cuando la madre no tienen ningún nivel de estudios.
Razón de Riesgos (Odds-Ratio - OR)
\[OR = \frac{Odss_A}{Odds_B}\]
Si la probabilidad de deserción cuando la madre tiene un nivel educativo de bachillerato es \(\pi(x) = 0.18\). Calcule el OR entre el grupo con madre sin estudios y el grupo con madre con nivel de bachiller.
\[OR = \frac{Odds_{\text{Madre sin estudios}}}{Odds_{\text{Madre bachiller}}} = \frac{\frac{0.71}{1-0.71}}{\frac{0.18}{1-0.18}}=\frac{2.45}{0.22}=11.2\]
Es 11 veces más probable que un niño cuya madre no tiene estudios abandone sus estudios en comparación con los niños cuyas madres tienen un nivel de bachillerato.
Modelo de regresión logística
Cuando la probabilidad se calcula con una f.d.p. logística, se puede mostrar que:
La estimación de los parámetros debe hacerse por métodos iterativos debido a que la función de pérdida no es convexa.
Newton – Raphson
Descenso del gradiente
Fisher
Híbrido
Análisis exploratorio
Prueba Chi-cuadrado
Permite identificar la asociación entre dos variables cualitativas.
Fumar está asociado con el cáncer de pulmón
El género está asociado con la preferencia por tipos de música
El nivel educativo está asociado con la afiliación política
El tipo de alimentación está asociado con la presencia de enfermedades cardíacas
La deserción estudiantil está asociada con el nivel educativo de la madre/padre.
Empleabilidad tras un programa de formación: Empleado después de la formación (Sí/No) vs Edad, nivel educativo, género, años de experiencia laboral…
Prueba Chi-cuadrado
\[H_0:\text{Las variables son independientes}\]\[H_1:\text{Las variables están relacionadas.}\]
Si A y B son eventos independientes entonces se cumple que:
\[\mathbb{P}(A \cap B) = \mathbb{P}(A) * \mathbb{P}(B)\]
Si el valor \(p\) es inferior a un nivel \(\alpha\) se dice que hay suficiente evidencia estadística para rechazar \(H_0\).
Desempeño del modelo: Matriz de confusión
Sensibilidad: Porcentaje de verdaderos positivos.
Especificidad: Porcentaje de verdaderos negativos.
Desempeño del modelo: Curva ROC
Evalúa la capacidad predictiva del modelo. Se eligen varios puntos de corte y se representa gráficamente la capacidad del modelo para realizar una correcta clasificación
Ejemplo
De acuerdo con la escala DASS, una persona con un puntaje de 8 o más puede ser considerada con problemas de depresesión, ansiedad o estrés.
Ajuste un modelo que le permita identificar los factores de riesgo y los factores de protección contra la ansiedad, para ello utilice las variables del sexo, satisfacción y participación que se encuentran dentro del instrumento aplicado.
La función glm() permite ajustar un modelo lineal generalizado. Se usa binomial para modelos de regresión logística binaria donde la función de enlace es de tipo logit, cuando la variable dependiente son recuentos se usa poisson y si la variable dependiente es positiva continua entonces se puede usar gamma.
Ha participado en Prácticas restaurativas para superar situaciones difíciles
NO
—
—
SÍ
4.95
2.17, 11.4
<0.001
Ha participado en Entrenamiento para fortalecer habilidades socio-emocionales
NO
—
—
SÍ
0.37
0.16, 0.85
0.021
1
OR = Odds Ratio, CI = Confidence Interval
Predicción
summary(modelo_final)
\[\ln\left(\frac{\pi}{1-\pi}\right)=-1.38-0.26 S.Viv - 0.30 S.Trab - 0.43 S.Vec \\ \hspace{5cm} + 0.49 S.Flia + 1.6 P.Resta - 0.98 Hab.Soc\] ¿Cómo calcularía la probabilidad de que una persona con las siguientes características sufra de ansidad? Sat.Viv = 2, Sat.Trab = 1, Sat.Vec = 2, Sat.Flia = 3, Parti.Pract.Restau = Si, Entrenamiento SocEmo = No. ¿Qué se esperaría si la persona cambia a un trabajo que en verdad le haga muy feliz (5)?
Estamos en un mundo de constante evolución, ¿la IA nos va a reemplazar?
Enviar una carta en papel por correo
Pedir un domicilio por teléfono
Solicitar un taxi por teléfono
Orientarse en una ruta con un mapa de papel
@tiangolo
Imagen de Caracol Radio
GPT y Modelos LLMs
El GPT (Generative Pre-trained Transformer) es un modelo de LLM (Large Language Model). Mientras que GPT-3 usaba 175 MM de parámetros usando modelos soportados en texto, GPT-4 usa 100 BN de parámetros usando modelos soportados en texto e imágenes.
Instrucciones
No pretenda que todo ocurra en un solo paso, a veces se obtienen mejores resultados precisando un prompt en cada paso.
@mdancho84
Herramientas
https://rtutor.ai/
https://www.codeconvert.ai/r-to-python-converter
ChatGPT
Copilot
Gemini
. . .
Ejercicios
Use un asistente de IA para realizar algunos análisis sobre el conjunto de datos DASS:
Haga un prompt que solicite crear un gráfico de correlación entre las variables que empiezan con el prefijo “P1_”, pida que use el paquete corrplot de R, solicite que se vea elegante y se presente los valores de las correlaciones.
Solicite asistencia para generar la gráfica de dispersión del punto 1 del taller.
Haga el Debug de los códigos anteriores, es decir, encontrar errores que pueden impedir que los códigos funcionen.
GRACIAS!
Referencias
Çetinkaya-Rundel, M. and Hardin, J. (2021) Introduction to modern statistics. Sections of Regression modeling: 7, 8, 9 y 10. Disponible aquí: https://openintro-ims.netlify.app/
Hastie, T., Tibshirani, R., Friedman, J. H., & Friedman, J. H. (2009). The elements of statistical learning: data mining, inference, and prediction (Vol. 2, pp. 1-758). New York: springer.
Ismay, C., & Kim, A.Y. (2019). Statistical Inference via Data Science: A ModernDive into R and the Tidyverse (1st ed.). Chapman and Hall/CRC. https://doi.org/10.1201/9780367409913
Thompson, J. (2019). Tidy Data Science with the tidyverse and tidymodels. https://tidyds-2021.wjakethompson.com
